이 모듈에서는 가중치 기반 미세 조정의 전통적 패러다임에서 벗어나, 동적인 문맥 내 학습 (ICL)세계로 나아갑니다. 우리는 대규모 언어 모델(LLM)이 내부 구조를 변경하지 않고, 프롬프트 자체의 구조를 활용하여 복잡한 잠재 공간을 탐색함으로써 작업 마스터리를 달성하는 방식을 탐구합니다.

1. 설명에서 보여주기로

지시는 일반적인 방향을 제공하지만, 입력-출력 쌍 $(x, y)$를 통한 '모방'은 비매개변수적 안내 역할을 합니다. 이러한 예시들은 모델의 확률 분포를 좁히는 통계적 고정점이 되며, 원시 자연어 지시에 내재된 모호성을 줄입니다.

2. 주목의 메커니즘

ICL은 트랜스포머의 주목 메커니즘을 활용해 '작업 유도'를 수행합니다. 제공된 시퀀스 내 규칙성을 파악함으로써 모델은 고차원 공간 내 특정 기능적 매핑을 찾아내며, 스타일과 구조를 매우 정밀하게 모방할 수 있게 됩니다.